With the growth of high-dimensional sparse data in web-scale recommender systems, the computational cost to learn high-order feature interaction in CTR prediction task largely increases, which limits the use of high-order interaction models in real industrial applications. Some recent knowledge distillation based methods transfer knowledge from complex teacher models to shallow student models for accelerating the online model inference. However, they suffer from the degradation of model accuracy in knowledge distillation process. It is challenging to balance the efficiency and effectiveness of the shallow student models. To address this problem, we propose a Directed Acyclic Graph Factorization Machine (KD-DAGFM) to learn the high-order feature interactions from existing complex interaction models for CTR prediction via Knowledge Distillation. The proposed lightweight student model DAGFM can learn arbitrary explicit feature interactions from teacher networks, which achieves approximately lossless performance and is proved by a dynamic programming algorithm. Besides, an improved general model KD-DAGFM+ is shown to be effective in distilling both explicit and implicit feature interactions from any complex teacher model. Extensive experiments are conducted on four real-world datasets, including a large-scale industrial dataset from WeChat platform with billions of feature dimensions. KD-DAGFM achieves the best performance with less than 21.5% FLOPs of the state-of-the-art method on both online and offline experiments, showing the superiority of DAGFM to deal with the industrial scale data in CTR prediction task. Our implementation code is available at: https://github.com/RUCAIBox/DAGFM.

语义细分是计算机视觉中的一个流行研究主题，并且在其上做出了许多努力，结果令人印象深刻。在本文中，我们打算搜索可以实时运行此问题的最佳网络结构。为了实现这一目标，我们共同搜索深度，通道，扩张速率和特征空间分辨率，从而导致搜索空间约为2.78*10^324可能的选择。为了处理如此大的搜索空间，我们利用差异架构搜索方法。但是，需要离散地使用使用现有差异方法搜索的体系结构参数，这会导致差异方法找到的架构参数与其离散版本作为体系结构搜索的最终解决方案之间的离散差距。因此，我们从解决方案空间正则化的创新角度来缓解离散差距的问题。具体而言，首先提出了新型的解决方案空间正则化（SSR）损失，以有效鼓励超级网络收敛到其离散。然后，提出了一种新的分层和渐进式解决方案空间缩小方法，以进一步实现较高的搜索效率。此外，我们从理论上表明，SSR损失的优化等同于L_0-NORM正则化，这说明了改善的搜索评估差距。综合实验表明，提出的搜索方案可以有效地找到最佳的网络结构，该结构具有较小的模型大小（1 m）的分割非常快的速度（175 fps），同时保持可比较的精度。

本文研究了一个新的，实用但具有挑战性的问题，称为类无监督的域名适应性（CI-UDA），其中标记的源域包含所有类别，但是未标记的目标域中的类别依次增加。由于两个困难，这个问题具有挑战性。首先，源和目标标签集在每个时间步骤都不一致，这使得很难进行准确的域对齐。其次，以前的目标类在当前步骤中不可用，从而忘记了先前的知识。为了解决这个问题，我们提出了一种新型的原型引导连续适应（PROCA）方法，由两种解决方案策略组成。 1）标签原型识别：我们通过检测具有目标样本的累积预测概率的共享类来识别目标标签原型。 2）基于原型的对齐和重播：基于确定的标签原型，我们对齐域并强制执行模型以保留先前的知识。有了这两种策略，ProCA能够有效地将源模型改编为类未标记的目标域。广泛的实验证明了Proca在解决CI-UDA方面的有效性和优势。源代码可从https://github.com/hongbin98/proca.git获得

人类的行动识别是一个非常受过大量研究的领域，在该领域中，最引人注目的动作识别网络通常使用日常人类行动的大规模粗粒度动作数据集作为陈述其网络优势的输入。我们打算使用神经网络识别我们的小规模细粒Tai Chi动作数据集，并使用NTU RGB+D数据集提出一种转移学习方法，以预先培训我们的网络。更具体地说，提出的方法首先使用大规模的NTU RGB+D数据集来预先培训基于变压器的网络以进行动作识别，以在人类运动中提取共同的特征。然后，我们冻结除完全连接（FC）层以外的网络权重，并将我们的Tai Chi动作作为输入，仅用于训练初始化的FC权重。实验结果表明，我们的通用模型管道可以达到高度精细的Tai Chi Action识别的高精度，甚至很少输入，并证明我们的方法与先前的Tai Chi Action识别相比实现了最先进的性能方法。

Deep neural network (DNN) classifiers are often overconfident, producing miscalibrated class probabilities. Most existing calibration methods either lack theoretical guarantees for producing calibrated outputs or reduce the classification accuracy in the process. This paper proposes a new Kernel-based calibration method called KCal. Unlike other calibration procedures, KCal does not operate directly on the logits or softmax outputs of the DNN. Instead, it uses the penultimate-layer latent embedding to train a metric space in a supervised manner. In effect, KCal amounts to a supervised dimensionality reduction of the neural network embedding, and generates a prediction using kernel density estimation on a holdout calibration set. We first analyze KCal theoretically, showing that it enjoys a provable asymptotic calibration guarantee. Then, through extensive experiments, we confirm that KCal consistently outperforms existing calibration methods in terms of both the classification accuracy and the (confidence and class-wise) calibration error.

为了提高实例级别检测/分割性能，现有的自我监督和半监督方法从未标记的数据提取非常任务 - 无关或非常任务特定的训练信号。我们认为这两种方法在任务特异性频谱的两端是任务性能的次优。利用太少的任务特定的培训信号导致底下地区任务的地面真理标签导致磨损，而相反的原因会在地面真理标签上过度装修。为此，我们提出了一种新的类别无关的半监督预测（CASP）框架，在提取来自未标记数据的训练信号中实现更有利的任务特异性平衡。与半监督学习相比，CASP通过忽略伪标签中的类信息并具有仅使用任务 - 不相关的未标记数据的单独预先预订阶段来减少训练信号的任务特异性。另一方面，CASP通过利用盒子/面具级伪标签来保留适量的任务特异性。因此，我们的预磨模模型可以更好地避免在下游任务上的FineTuned时避免在地面真理标签上抵抗/过度拟合。使用3.6M未标记的数据，我们在对象检测上实现了4.7％的显着性能增益。我们的预制模型还展示了对其他检测和分割任务/框架的优异可转移性。

本文旨在减少透明辐射场的渲染时间。一些最近的作品用图像编码器配备了神经辐射字段，能够跨越场景概括，这避免了每场景优化。但是，它们的渲染过程通常很慢。主要因素是，在推断辐射场时，它们在空间中的大量点。在本文中，我们介绍了一个混合场景表示，它结合了最佳的隐式辐射场和显式深度映射，以便有效渲染。具体地，我们首先构建级联成本量，以有效地预测场景的粗糙几何形状。粗糙几何允许我们在场景表面附近的几个点来样，并显着提高渲染速度。该过程是完全可疑的，使我们能够仅从RGB图像共同学习深度预测和辐射现场网络。实验表明，该方法在DTU，真正的前瞻性和NERF合成数据集上展示了最先进的性能，而不是比以前的最可推广的辐射现场方法快至少50倍。我们还展示了我们的方法实时综合动态人类执行者的自由观点视频。代码将在https://zju3dv.github.io/enerf/处提供。

在现实世界中，医疗数据集通常表现出长尾数据分布（即，一些类占据大多数数据，而大多数类都很少有一些样本），这导致挑战的不平衡学习场景。例如，估计有超过40种不同的视网膜疾病，无论发生了多种发病率，然而，来自全球患者队列的超过30多种条件非常罕见，这导致基于深度学习的筛选典型的长尾学习问题楷模。此外，视网膜中可能存在多种疾病，这导致多标签情景并为重新采样策略带来标签共生问题。在这项工作中，我们提出了一种新颖的框架，利用了视网膜疾病的先验知识，以便在等级 - 明智的约束下培训模型的更强大的代表。然后，首先引入了一个实例 - 明智的类平衡的采样策略和混合知识蒸馏方式，以从长尾的多标签分布中学习。我们的实验培训超过一百万个样品的视网膜数据集展示了我们所提出的方法的优越性，这些方法优于所有竞争对手，并显着提高大多数疾病的识别准确性，特别是那些罕见的疾病。

公共数据集是商业AI软件的关键驱动程序之一。使用公共可用数据集（特别是商业目的）由DataSet许可证管理。这些数据集许可证概述权利人有权获得给定数据集的权利以及必须履行必须履行诸如违反许可违规行为的权利的义务。但是，与标准化开源软件（OSS）许可不同，现有数据集许可证以临时方式定义，并不明确概述与其使用相关的权利和义务。这使得检查潜在的许可合规性违规。此外，公共数据集可以托管在多个位置，并从多个数据源创建，每个数据源可以具有不同的许可。因此，不能使用现有的检查OSS许可合规性的方法。在本文中，如果要用于建立商业AI软件，则提出了一种新的方法来评估潜在的许可合规性违规行为，如果要用于建立商业AI软件。我们在Huawei的两个产品组上进行了方法，常用的公共数据集进行了试验。我们的研究结果表明，如果它们用于商业目的，这6个学习的数据集中有5个违规风险。因此，我们为AI工程师提供了如何更好地评估公开可用数据集以获得许可合规性违规的建议。

由于过度参数化性质，神经网络是一个强大的非线性函数近似的工具。为了在看不见的数据上实现良好的概括，适当的归纳偏差对于神经网络来说是非常重要的。最直接的方式之一是将神经网络与一些额外的目标进行规范化。L2正则化用作神经网络的标准正则化。尽管其受欢迎程度，但它基本上规范了个体神经元的一个维度，这不足以控制高度过度参数化神经网络的能力。由此激励，提出了高度球形的均匀性作为影响神经元之间相互作用的新型关系规则。我们考虑了几种几何鲜明的方式来实现超球均匀性。高度球形均匀性的有效性是由理论洞察力和经验评估的合理性。